데이터 사이언스 [APP 배포] HEROKU / AWS 정리, DOCKER와의 연동을 통한 배포 실습 werkzeug: flask 패키지를 설치하면 함께 설치되는 라이브러리로 app 실행 시 이를 웹에서 볼 수 있도록 해준다. flask와 같은 micro framwork를 서버 연결을 통해 외부에서 접속하도록 하는 미들웨어이다. HEROKU 비용을 지불하고 원하는 코드를 전달만 하면, 도메인(URL)과 기타 자원들을 모두 공급받을 수 있다. 비용이 비싼편 반면 이 모든 것을 직접 해야하기 때... 데이터 사이언스배포데이터 엔지니어데이터 사이언스 큰 데이터 다루기 🦏 큰 DataFrame 살펴보기 대부분의 데이터셋은 매우 크다 중간의 데이터들이 ...으로 생략되기도 한다 데이터셋 크기 확인하기 원하는 줄 수만큼 출력하기 columns 파악하기 DataFrame의 통계 정보 확인하기 원하는 기준으로 정렬하기 기존 DataFrame 변경하지 않는다 변경: inplace=True 🦏 큰 Series 살펴보기 큰 Seires 살펴보기 중간에 ...으로 생략된... 데이터 사이언스pythonpandas데이터dataframedataframe Deep Learning - 이미지 처리 CNN 이용한 이미지 분류 모델 구현 실습 (1) 커머스 산업에 관심이 많다보니, 커머스에서 사용할 수 있는 모델을 구상해보았고, 이미지를 통한 카테고리 분류를 한다면 하루에도 수많은 상품이 업데이트되는 커머스 플랫폼에선 자동화의 일환으로 사용할 수 있을 것이다. Cifar10 데이터를 이용한 실습 keras 제공 cifar10 데이터를 이용하기 위해 불러온 뒤, 정규화를 위해 255로 나눠준다. 기본적으로 cifar10 데이터는 10개의 ... 데이터 사이언스모델구현딥러닝CNN이미지처리CNN Jupyter Notebook Jupyter Notebook 장점: 코드 결과물 바로 확인 가능, 단계별 확인 가능 🌟 Jupyter Notebook 설치하기(Windows) Python3와 Jupyter Notebook 자동으로 설치됨 Anaconda Nevigator 실행 >> Jupyter Notebook launch(웹 브라우저 선택) 🌟 명령 프롬프트로 Jupyter Notebook 설치하기 pip을 통해 Jup... 데이터데이터 사이언스jupyter notebookjupyter notebook 새로운 인사이트 발견하기 🌟 새로운 값 계산하기 각 방송사들의 연간 총 시청률 각 행의 합을 구한다 그래프로 결과 확인하기 해마다 시청률이 점점 떨어지고 있다 해마다 종편의 시청률이 오르고 있다 종편에서 제작하는 드라마나 예능이 인기가 있다 🌟 문자열 필터링 특정 값을 포함한 결과만 필터링 [df['Genre']=='Blues'] 특정 문자열을 포함한 결과 필터링 .str.contains('Blues') 앞글자가 특... 데이터 사이언스pythonJupyter데이터데이터 분석Jupyter Feature Engineering - 범주형 feature에 대한 처리Encoders(OneHotEncoder / OrdinalEncoder) Categorical Feature(범주형 특성)는 String으로 되어있거나 그 의미가 수치와 관련있지 않은 경우 이를 수치화 하여 해당 범주를 특성으로 만들어 그 범주 별로 영향력을 높이기 위한 인코딩 방법중 하나이다. 예를 들어, 샘플별로 정해진 컬러가 있는 COLOR feature가 있고, 그 범주들이 각각 RED, YELLOW, BLUE로 정해져 있을 때, 기계학습 진행 시 이 특성... 머신러닝데이터 사이언스인코더데이터 사이언스 Selective Search & IoU 이해와 실습 🙆♀️ Selective Search로 Region Proposal selectivesearch 설치 및 이미지 로드 폴더 생성 및 이미지 로드 cv2로 이미지 로드 및 시각화 🙆♀️ 반환된 Region Proposal 정보 보기 이미지의 Region Proposal 정보 가져오기 반환된 region 변수 rect 키 값은 x,y 시작 좌표와 너비, 높이 값을 가진다 rect 키 값은 D... DLpython데이터 사이언스인공지능VISIONObject Detection시각화데이터딥러닝DL Linear Regression - 다중선형회귀 정리, 기준모델, 다중모델 작성 및 시각화해보기 MAE(절대평균오차)를 통해 정확도를 체크해볼 수 있다. 평균으로 만든 기준모델에 대한 실제 타겟 데이터들의 오차보다 X_train데이터들로 회귀선을 fit한 모델의 오차가 훨씬 줄어든 것을 볼 수 있다. 평균선에 비해 특성과 타겟 간 오차 제곱합이 가장 적은 선을 그려낸 것을 알 수 있다. 진행해본 데이터는 특성이 2개이므로 데이터의 분포 및 상관관계와 우리가 예측한 모델의 예측 선(면)을... 선형회귀데이터 사이언스다중선형회귀다중선형회귀 OpenCV의 이해 및 실습 Python 기반 주요 이미지 라이브러리 주로 이미지 처리만을 위해 사용 Python 기반의 전반적인 컴퓨터 비전 기능 제공 OpenCV 방대한 컴퓨터 비전 관련 라이브러리와 손쉬운 인터페이스 제공 OpenCV 이미지 로딩 imread('파일명')를 이용한 이미지 로딩 이미지를 RGB 형태가 아닌 BGR 형태로 로딩 RGB: RED 계열 BGR: BLUE 계열 cvtColor()를 이용하여 ... python데이터 사이언스실습VISIONopencv데이터VISION Linear Regression - 단순선형회귀 정리, 회귀계수와 절편 구하기 이 때, 독립변수 X는 설명변수라고도 불리우고 다양한 곳에서 설명변수 X의 변화에 따라 달라지는 타겟 즉, 반응변수 y의 변화를 예측하는 기법으로 볼 수 있다. 종속변수 y: 이는 이를 표현하는 학문(?)에 따라 다른것 같으나, data science에서 주로 Feature(독립변수)와 Target(종속변수)로 표현한다. 회귀의 예시로는 아래와 같이 들 수 있다. y^ = β0 : 절편(y ... 선형회귀데이터 사이언스데이터 사이언스 Object Detection의 이해 2 Detected 된 Bounding Box 별로 특정 Confidence threshold 이하 Bounding Box는 먼저 제거 높은 confidence scroe를 가진 box와 겹치는 다른 box를 모두 조사 예:) IOU Threshold > 0.4 Object Detection 성능 평가 Metric - mAP 재현율의 변화에 따른 정밀도(Precision)의 평균 성능 수치 Co... python데이터 사이언스영상처리iou데이터iou
[APP 배포] HEROKU / AWS 정리, DOCKER와의 연동을 통한 배포 실습 werkzeug: flask 패키지를 설치하면 함께 설치되는 라이브러리로 app 실행 시 이를 웹에서 볼 수 있도록 해준다. flask와 같은 micro framwork를 서버 연결을 통해 외부에서 접속하도록 하는 미들웨어이다. HEROKU 비용을 지불하고 원하는 코드를 전달만 하면, 도메인(URL)과 기타 자원들을 모두 공급받을 수 있다. 비용이 비싼편 반면 이 모든 것을 직접 해야하기 때... 데이터 사이언스배포데이터 엔지니어데이터 사이언스 큰 데이터 다루기 🦏 큰 DataFrame 살펴보기 대부분의 데이터셋은 매우 크다 중간의 데이터들이 ...으로 생략되기도 한다 데이터셋 크기 확인하기 원하는 줄 수만큼 출력하기 columns 파악하기 DataFrame의 통계 정보 확인하기 원하는 기준으로 정렬하기 기존 DataFrame 변경하지 않는다 변경: inplace=True 🦏 큰 Series 살펴보기 큰 Seires 살펴보기 중간에 ...으로 생략된... 데이터 사이언스pythonpandas데이터dataframedataframe Deep Learning - 이미지 처리 CNN 이용한 이미지 분류 모델 구현 실습 (1) 커머스 산업에 관심이 많다보니, 커머스에서 사용할 수 있는 모델을 구상해보았고, 이미지를 통한 카테고리 분류를 한다면 하루에도 수많은 상품이 업데이트되는 커머스 플랫폼에선 자동화의 일환으로 사용할 수 있을 것이다. Cifar10 데이터를 이용한 실습 keras 제공 cifar10 데이터를 이용하기 위해 불러온 뒤, 정규화를 위해 255로 나눠준다. 기본적으로 cifar10 데이터는 10개의 ... 데이터 사이언스모델구현딥러닝CNN이미지처리CNN Jupyter Notebook Jupyter Notebook 장점: 코드 결과물 바로 확인 가능, 단계별 확인 가능 🌟 Jupyter Notebook 설치하기(Windows) Python3와 Jupyter Notebook 자동으로 설치됨 Anaconda Nevigator 실행 >> Jupyter Notebook launch(웹 브라우저 선택) 🌟 명령 프롬프트로 Jupyter Notebook 설치하기 pip을 통해 Jup... 데이터데이터 사이언스jupyter notebookjupyter notebook 새로운 인사이트 발견하기 🌟 새로운 값 계산하기 각 방송사들의 연간 총 시청률 각 행의 합을 구한다 그래프로 결과 확인하기 해마다 시청률이 점점 떨어지고 있다 해마다 종편의 시청률이 오르고 있다 종편에서 제작하는 드라마나 예능이 인기가 있다 🌟 문자열 필터링 특정 값을 포함한 결과만 필터링 [df['Genre']=='Blues'] 특정 문자열을 포함한 결과 필터링 .str.contains('Blues') 앞글자가 특... 데이터 사이언스pythonJupyter데이터데이터 분석Jupyter Feature Engineering - 범주형 feature에 대한 처리Encoders(OneHotEncoder / OrdinalEncoder) Categorical Feature(범주형 특성)는 String으로 되어있거나 그 의미가 수치와 관련있지 않은 경우 이를 수치화 하여 해당 범주를 특성으로 만들어 그 범주 별로 영향력을 높이기 위한 인코딩 방법중 하나이다. 예를 들어, 샘플별로 정해진 컬러가 있는 COLOR feature가 있고, 그 범주들이 각각 RED, YELLOW, BLUE로 정해져 있을 때, 기계학습 진행 시 이 특성... 머신러닝데이터 사이언스인코더데이터 사이언스 Selective Search & IoU 이해와 실습 🙆♀️ Selective Search로 Region Proposal selectivesearch 설치 및 이미지 로드 폴더 생성 및 이미지 로드 cv2로 이미지 로드 및 시각화 🙆♀️ 반환된 Region Proposal 정보 보기 이미지의 Region Proposal 정보 가져오기 반환된 region 변수 rect 키 값은 x,y 시작 좌표와 너비, 높이 값을 가진다 rect 키 값은 D... DLpython데이터 사이언스인공지능VISIONObject Detection시각화데이터딥러닝DL Linear Regression - 다중선형회귀 정리, 기준모델, 다중모델 작성 및 시각화해보기 MAE(절대평균오차)를 통해 정확도를 체크해볼 수 있다. 평균으로 만든 기준모델에 대한 실제 타겟 데이터들의 오차보다 X_train데이터들로 회귀선을 fit한 모델의 오차가 훨씬 줄어든 것을 볼 수 있다. 평균선에 비해 특성과 타겟 간 오차 제곱합이 가장 적은 선을 그려낸 것을 알 수 있다. 진행해본 데이터는 특성이 2개이므로 데이터의 분포 및 상관관계와 우리가 예측한 모델의 예측 선(면)을... 선형회귀데이터 사이언스다중선형회귀다중선형회귀 OpenCV의 이해 및 실습 Python 기반 주요 이미지 라이브러리 주로 이미지 처리만을 위해 사용 Python 기반의 전반적인 컴퓨터 비전 기능 제공 OpenCV 방대한 컴퓨터 비전 관련 라이브러리와 손쉬운 인터페이스 제공 OpenCV 이미지 로딩 imread('파일명')를 이용한 이미지 로딩 이미지를 RGB 형태가 아닌 BGR 형태로 로딩 RGB: RED 계열 BGR: BLUE 계열 cvtColor()를 이용하여 ... python데이터 사이언스실습VISIONopencv데이터VISION Linear Regression - 단순선형회귀 정리, 회귀계수와 절편 구하기 이 때, 독립변수 X는 설명변수라고도 불리우고 다양한 곳에서 설명변수 X의 변화에 따라 달라지는 타겟 즉, 반응변수 y의 변화를 예측하는 기법으로 볼 수 있다. 종속변수 y: 이는 이를 표현하는 학문(?)에 따라 다른것 같으나, data science에서 주로 Feature(독립변수)와 Target(종속변수)로 표현한다. 회귀의 예시로는 아래와 같이 들 수 있다. y^ = β0 : 절편(y ... 선형회귀데이터 사이언스데이터 사이언스 Object Detection의 이해 2 Detected 된 Bounding Box 별로 특정 Confidence threshold 이하 Bounding Box는 먼저 제거 높은 confidence scroe를 가진 box와 겹치는 다른 box를 모두 조사 예:) IOU Threshold > 0.4 Object Detection 성능 평가 Metric - mAP 재현율의 변화에 따른 정밀도(Precision)의 평균 성능 수치 Co... python데이터 사이언스영상처리iou데이터iou